🦊Lumina-Image 2.0
🏠 | 🦊雑に学ぶComfyUI
👈 |
👉 |
※ファイルサイズが全て合わせても比較的小さめなためか、下記のように各種モデルがバラバラのものではなく一体化したモデルを配布している事も多いようです。
一体モデルの場合🦊SDXLやStable Diffusion 1.5の時のように🦊Load Checkpointノードで読み込むとよいです。
その場合、モデル置き場はdiffusion_modelsではなくStableDiffusionフォルダ以下になります。
モデルのダウンロード
https://huggingface.co/Comfy-Org/Lumina_Image_2.0_Repackaged/tree/main/split_files/diffusion_modelslumina_2_model_bf16.safetensors
https://huggingface.co/Comfy-Org/Lumina_Image_2.0_Repackaged/tree/main/split_files/text_encodersgemma_2_2b_fp16.safetensors
https://huggingface.co/Comfy-Org/Lumina_Image_2.0_Repackaged/tree/main/split_files/vaeae.safetensors
code:models
📂ComfyUI/
└──📂models/
├── 📂diffusion_models/
│ └── lumina_2_model_bf16.safetensors
├── 📂text_encoders/
│ └── gemma_2_2b_fp16.safetensors
└── 📂vae/
└── ae.safetensors
vaeはFLUX.1と同じ
Lumina-Image 2.0
https://gyazo.com/cfe30d21fbd13290df455143f0066016
Lumina-Image 2.0.json
Neta Lumina
モデル
https://huggingface.co/neta-art/Neta-Lumina/blob/main/neta-lumina-beta-aes-experimental-0624.safetensorsneta-lumina-beta-aes-experimental-0624.safetensors
$ comfyui/models/diffusion_models/neta-lumina-beta-aes-experimental-0624.safetensors
https://gyazo.com/42e9ddc4272f4db8050ab63c6b21352e
Neta Lumina.json
https://nieta-art.feishu.cn/wiki/RVBgwvzBqiCvQ7kOMm1cM6NdnNcNeta Lumina Prompt Book
プロンプトを書く前にシステムプロンプトみたいなものを書く必要があるらしい
You are an assistant designed to generate anime images based on textual prompts. <Prompt Start>​
Neta LuminaというかLumina-Image 2.0は現実の写真やリアリスティックな画像などのデータセットを学習時に区別するために、システムプロンプトとして最初に定型文を書いたため、ファインチューニングした際アニメ系というのを明示するために、このシステムプロンプトを使ったのかなnomadoor.icon
論文内では以下のようになっている
You are an assistant designed to generate high-quality images based on user prompts. <Prompt Start> <Image Prompt>
You are an assistant designed to generate superior images with the superior degree of image-text alignment based on textual prompts or user prompts. <Prompt Start> <Image Prompt>
現状蒸留された高速・低ステップモデルやLoraは出ていない為、DistanceSampler辺りで7ステップ生成が一番手っ取り早く(早い時間で)画像が作れる。